在过去的十年中,修剪神经网络已经流行,当时证明可以安全地从现代神经网络中安全地删除大量权重,而不会损害准确性。从那时起,已经提出了许多修剪方法,每种方法都比以前更好。如今,许多最先进的技术(SOTA)技术依赖于使用重要性得分的复杂修剪方法,通过反向传播获得反馈或在其他等方面获得基于启发式的修剪规则。我们质疑这种引入复杂性的模式,以获得更好的修剪结果。我们对这些SOTA技术基准针对全球幅度修剪(全球MP)(一个天真的修剪基线),以评估是否确实需要复杂性来实现更高的性能。全球MP按其幅度顺序排列权重,并修理最小的权重。因此,它以香草形式是最简单的修剪技术之一。令人惊讶的是,我们发现香草全球MP的表现优于所有其他SOTA技术,并取得了新的SOTA结果。它还可以在拖叉稀疏方面取得良好的性能,当以逐渐修剪的方式进行修剪时,我们发现这是增强的。我们还发现,全球MP在具有卓越性能的任务,数据集和模型之间可以推广。此外,许多修剪算法以高稀疏速率遇到的一个常见问题,即可以通过设置要保留在每层中的最小权重阈值来轻松固定在全球MP中。最后,与许多其他SOTA技术不同,全球MP不需要任何其他特定算法的超参数,并且非常简单地调整和实施。我们在各种模型(WRN-28-8,Resnet-32,Resnet-50,Mobilenet-V1和FastGrnn)和多个数据集(CIFAR-10,Imagenet和HAR-2)上展示了我们的发现。代码可在https://github.com/manasgupta-1/globalmp上找到。
translated by 谷歌翻译
Large-scale online recommendation systems must facilitate the allocation of a limited number of items among competing users while learning their preferences from user feedback. As a principled way of incorporating market constraints and user incentives in the design, we consider our objectives to be two-fold: maximal social welfare with minimal instability. To maximize social welfare, our proposed framework enhances the quality of recommendations by exploring allocations that optimistically maximize the rewards. To minimize instability, a measure of users' incentives to deviate from recommended allocations, the algorithm prices the items based on a scheme derived from the Walrasian equilibria. Though it is known that these equilibria yield stable prices for markets with known user preferences, our approach accounts for the inherent uncertainty in the preferences and further ensures that the users accept their recommendations under offered prices. To the best of our knowledge, our approach is the first to integrate techniques from combinatorial bandits, optimal resource allocation, and collaborative filtering to obtain an algorithm that achieves sub-linear social welfare regret as well as sub-linear instability. Empirical studies on synthetic and real-world data also demonstrate the efficacy of our strategy compared to approaches that do not fully incorporate all these aspects.
translated by 谷歌翻译
The use of needles to access sites within organs is fundamental to many interventional medical procedures both for diagnosis and treatment. Safe and accurate navigation of a needle through living tissue to an intra-tissue target is currently often challenging or infeasible due to the presence of anatomical obstacles in the tissue, high levels of uncertainty, and natural tissue motion (e.g., due to breathing). Medical robots capable of automating needle-based procedures in vivo have the potential to overcome these challenges and enable an enhanced level of patient care and safety. In this paper, we show the first medical robot that autonomously navigates a needle inside living tissue around anatomical obstacles to an intra-tissue target. Our system leverages an aiming device and a laser-patterned highly flexible steerable needle, a type of needle capable of maneuvering along curvilinear trajectories to avoid obstacles. The autonomous robot accounts for anatomical obstacles and uncertainty in living tissue/needle interaction with replanning and control and accounts for respiratory motion by defining safe insertion time windows during the breathing cycle. We apply the system to lung biopsy, which is critical in the diagnosis of lung cancer, the leading cause of cancer-related death in the United States. We demonstrate successful performance of our system in multiple in vivo porcine studies and also demonstrate that our approach leveraging autonomous needle steering outperforms a standard manual clinical technique for lung nodule access.
translated by 谷歌翻译
推荐系统在市场中使用时发挥了双重作用:它们可以帮助用户从大型游泳池中选择最需要的物品,并有助于将有限数量的物品分配给最想要它们的用户。尽管在许多现实世界中的推荐设置中,能力限制的流行率普遍存在,但缺乏将它们纳入这些系统设计的原则性方式。在此激励的情况下,我们提出了一个交互式框架,系统提供商可以通过机会主义探索分配来提高向用户的建议质量,从而最大程度地利用用户奖励并使用适当的定价机制尊重容量约束。我们将问题建模为低排名组合的多臂匪徒问题的实例,并在手臂上进行了选择约束。我们采用一种集成方法,使用协作过滤,组合匪徒和最佳资源分配中的技术,以提供一种算法,可证明可以实现次线性遗憾,即$ \ tilde {\ mathcal {\ sqrt {o}}(\ sqrt {\ sqrt {n+m(n+m){n+m(n+m) )rt})$ in $ t $ rounds,用于$ n $用户,$ m $项目和排名$ r $ ney奖励矩阵的问题。关于合成和现实世界数据的实证研究也证明了我们方法的有效性和性能。
translated by 谷歌翻译
分布式声音传感器(DAS)是有效的设备,在许多应用区域中广泛使用,用于记录各种事件的信号,这些事件沿光纤沿光纤沿着非常高的空间分辨率。为了正确地检测和识别记录的事件,具有高计算需求的高级信号处理算法至关重要。卷积神经网络是提取空间信息的高功能工具,非常适合DAS中的事件识别应用。长期术语内存(LSTM)是处理顺序数据的有效仪器。在这项研究中,我们提出了一种多输入的多输出,两个阶段特征提取方法,该方法将这些神经网络体系结构的能力与转移学习的能力结合在一起,以将压电传感器应用于光纤上的振动进行分类。首先,我们从相位-OTDR记录中提取了差幅度和相位信息,并将它们存储在时间空间数据矩阵中。然后,我们在第一阶段使用了最先进的预训练的CNN作为特征提取器。在第二阶段,我们使用LSTMS进一步分析了CNN提取的特征。最后,我们使用密集层来对提取的特征进行分类。为了观察使用的CNN体​​系结构的效果,我们通过五个最先进的预训练模型(VGG-16,Resnet-50,Densenet-121,Mobilenet和Inception-V3)测试了模型。结果表明,在我们的框架中使用VGG-16体系结构可以在50个培训中获得100%的分类精度,并在我们的相位数据集中获得最佳结果。这项研究的结果表明,与LSTM结合的预训练的CNN非常适合分析差分振幅和相位信息,在时间空间数据矩阵中表示,这对于DAS应用中的事件识别操作很有希望。
translated by 谷歌翻译
随着越来越多的公司存储客户的数据;一个人的各种信息分布在众多的公司数据库中。不同的工业部门对同一客户带来了不同的特点。此外,同一工业部门的不同公司携带有关客户的类似数据,具有不同的数据表示。来自不同工业部门的公司之间的合作,称为垂直合作,以及同一部门内的公司,称为横向合作,可以导致更准确的机器学习模型以及信用评分等任务中的更好的估计。但是,不同数据表示的数据隐私法规和兼容性问题是合作模型培训的巨大障碍。通过提出培训框架MICS和实验在几种数值数据集上,我们表明,公司将对与其他公司和其他工业部门的其他公司合作,共同培训更强大,准确的全球模型,而不明确分享客户的奖励私人数据。
translated by 谷歌翻译
新一代头戴式显示器,如VR和AR眼镜,正在进入市场,具有集成的眼踪,预计将能够在许多应用中启用人机交互的新方法。然而,由于眼睛运动属性包含生物信息,因此必须正确处理隐私问题。最近已经应用于从这种显示器获得的眼部移动数据等差分隐私机制等隐私保存技术。标准差异隐私机制;然而,由于眼睛运动观测之间的时间相关性而易受伤害。在这项工作中,我们提出了一种新颖的基于转换编码的差分隐私机制,以进一步调整它对眼球运动特征数据的统计数据并比较各种低复杂性方法。我们扩展了傅立叶扰动算法,这是一个差异隐私机制,并在证明中纠正了缩放错误。此外,除了查询敏感性之外,我们还说明了对样本相关性的显着还原,这提供了在眼睛跟踪文献中提供了最佳的效用隐私权衡。我们的结果提供了明显高的隐私,而在隐藏个人标识符的同时,在分类准确性损失的情况下提供了明显高的隐私。
translated by 谷歌翻译